Как подключить к Арасће 5рагк проприетарный 
источник данных: теория, практика, грабли, костыли ` 


Нівћ сәсен 2" : 


Весна 2021 


Александра Белоусова 
Яндекс.бо 


- 
- 
= 
я 
- 
- 


++ 


НІ. 


О чем а буду говоритБ 


е Мотивация и постановка задачи 
е Быстрое и простое решение 
г Сложное производительное решение 


е Грабли и костыли 


4 Њен оган 
(ні) а 


Что надо было сделать? 


4 Њен оган 
(ні) а 


УТ 


e Data Storage 
e Scheduler 
e Map Reduce 


А Њен оган 
(ні) а 


ҮТ 


" Миллион адер 
е Зксбибайт (ЕЇВ) диска 


• Около 10 тысяч пользователей 


• И это только на одном кластере! 


ТА Нен оаа 
(ні) таа ри зі 


Spark + УТ 


е Запустить на ресурсах кластера УТ 
• Читать данные из ҮТ 
• Писать данные в УТ 


e Показать wall time и сри time лучше, чем у существующих 
решений 


ТА Нен оаа 
(ні) таа ри зі 


УТ - файловая система 


НОЕЗ 


/ 
|---> ГУ tmp 
|---> № file.txt 
|---> ГУ example 
|---> [7 ааїаѕеї 1 
|-----> ЩІ рагі-0.рагацеї 
|-----> ЩІ рагі-1.рагацеї 
|-----> ЩІ рагі-2.рагацеї 
|---> ГУ даїаѕеї 2 
|-----> ЩІ рагі-0.рагацеї 
----- > Ш рап-1.рагаче! 


УТ 


/ 
|---> ГУ tmp 

|---> № file.txt 

|---> ГУ ехатр!е 
|----> ЩІ ехатріе їаЫе 1 
|----> ЩІ ехатріе їаЫе 2 


А Њен оган 
т (нк Немо: 


Таблица в УТ 


Оѕег |еуе! 


Attributes: 


schema 


a - String 
b - Boolean 
c - Integer 


rowCount 


Storage level 


Columnar chunk 1 


rows 0 - 200 
Columnar chunk 2 


rows 201 - 400 


Columnar chunk 3 


rows 401 - 600 


Attributes: 


schema 

a - String 
b - Boolean 
c - Integer 


rowCount 


ТА HighLoad 
(ні) .. Е 


Простое решение: чтение 


4 Њен оган 
(ні) таа ри 


Дисклеимер 


• АРІ - набор классов / интерфейсов / методов, которые мы 
вызываем 


e SPI – набор классов / интерфейсов / методов, которые мы 
расширяем или реализуем 


ТА Нен оаа 
(ні) таа ри зі 


Spark SPI 


” 


ЅігисіТуре 


Агау|Рапійіоп) |: 


11 


НО) HighLoad= 


Весна 2021 


Spark SPI 


getPartitions 
Array[Partition] 


:4 Partition Г 


Iterator[Row] 


12 


НО) HighLoad= 


Весна 2021 


Получение схемы 


деїРапійіоп5 


Array[Partition] |:: 2 Iterator[Row] 


13 


- HighLoad+ 
(но Ненова 


Получение партиции 


деїРапійіоп5 Е 
Array[Partition] !-: 2 Iterator[Row] 


Чтение партиции 


YtRelation 


getPartitions 
Array[Partition] |:: 


Рапйоп | Iterator[Row] 


з Dee 


Как это выполняется 


Spark App 


Driver 
Executor 1 Executor 2 


Table Data | Table Meta 


Получение схемы 


Рпазе 1 


Огімег 


Ехесшог 1 Ехесшог 2 


де! 
зсћета 


Table Data |Table Meta 


17 


ТА HighLoad 
(ні) Дт Е 


Получение партиции 


Рпазе 1 


Опмег 
Executor 1 Ехесшог 2 


Executor 1 


Table Data |Table Meta 


Part1 | Part2 | Table Meta 


18 HL) МЕН оаа 


Чтение партиции 


ѕепа рап! їаѕк send part2 task 
read read 
partition partition 


Table Data |Table Meta 


Parti | Part2 | Table Meta Part1 Part2 [Table Meta 


19 HL) ТА пате 


Как это выполняется 


Driver 


Table Data |Table Meta 


Parti | Part2 | Table Meta 


Phase 3 


Driver 


send part2 task 


send part1 task 


Executor 1 Executor 2 


read read 
partition partition 


Part1 Part2 [Table Meta 


20 HL HighLoad+ 


Весна 2021 


Как это выглядит в коде 


= ` 


YtRelation 


Partition | 


Array[Partition] |-: --/ 


деїРапійіоп5 


Аггау[Рагійіоп] |-: 


Partition | 


Iterator[Row] 


YtClient 


Iterator[YtRow] 


22 


4 HighLoad+ 
HL эйт 


деїРапійіоп5 


Аггау[Рагійіоп] |-: 


Partition | 


Iterator[Row] 


YtClient 


Iterator[YtRow] 


23 


4 HighLoad+ 
HL эе 


Получение схемы 


ТЕ 


2 ] 


getPartitions 


Array[Partition] |-: 


` 
` 
` 
` 


Негајо У Ном] 


ЕЕ | 


24 HL) ТА пат 


Преобразование схемы в StructType 


| 


за" "int32", 

ре "string", 

aon "uint64", ----» описПуре 
ча": "апу", 


"name.with.dots": "double", 


А Њен оган 
(ні) таа ри а 


Простые типы 


( 5 гис Туре ( 
"а": "int32", 5Е(а", |птерегТуре), 
"b": "string", SF("b", StringType), 


"с": "uint64", 
ча": "апу", 
"name.with.dots": "double", 


ТА HighLoad 
(ні) таа ри зі 


Дополнительные типы 


{ 

"а": "int32", 

"р": "string", 

"с": "ціпі64", 

"d": "апу", 

"пате .міїћ.аоїѕ": "double", 
} 


5 гис Туре ( 
ЅЕ("а", |птерегТуре), 
SF("b", ЅігіпеТуре), 
ЅЕ("с", ЅгіпеТуре, 
+огїрїпа! Туре іп тета) 


ТА Нівні оаа 
(ні) таа ри зі 


Подсказки дла типов 


( 5 гис Туре ( 
"а": "іпі32", ЅЕ("а", ІпіерегТуре), 
пр"; "string", ЗЕ("Ь", StringType), 
"с": "ціпібА", ЅЕ("с", 5ігіпеТуре, + пета) 
"9": "апу", ЅЕ("а", АггауТуре(5ігіпеТуре)), 


"name.with.dots": "double", 


} 


+ ѕсһета Піпі 
"а": АггауТуре(5їгіпеТуре) 


ТА HighLoad 
(ні) таа ри зі 


Переименование 


( 51 гис! Туре ( 
"а": "int32", ЅЕ("а", |птерегТуре), 
"b": "string", SF("b", StringType), 
"с": "uint64", SF("c", StringType, +meta) 
"d": "any", SF("d", ArrayType(StringType)), 
"name.with.dots": "double", SF("name_with_dots", 
} РочЫеТуре, 


+ original пате іп тета) 


ТА Нівні оаа 
(ні) таа ри зі 


Получение схемы 


ТЕ 


2 ] 


getPartitions 


Array[Partition] |-: 


` 
` 
` 
` 


Негајо У Ном] 


ЕЕ | 


30 HL) ТА пат 


Получение партиции 


Аггау[Рагійіоп] |-: 2 


С 


y 


Iterator[YtRow] 
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НО) HighLoad= 


Весна2021 


Таблица в УТ 


Оѕег |еуе! 


Attributes: 


schema 


a - String 
b - Boolean 
c - Integer 


rowCount 


Storage level 


Columnar chunk 1 


rows 0 - 200 
Columnar chunk 2 


rows 201 - 400 


Columnar chunk 3 


rows 401 - 600 


Attributes: 


schema 

a - String 
b - Boolean 
c - Integer 


rowCount 


ТА HighLoad 
(ні) .. Е 


Разбиение таблицы на партиции 


e Можем узнать точное количество строк в таблице из метаданных 


• Можем запрашивать диапазоны строк при чтении 


е Бывают проблемы с равномерностью распределения 


ТА Нен оаа 
(ні) таа ри зі 


Получение партиции 


Аггау[Рагійіоп] |-: 2 


С 


y 


Iterator[YtRow] 


34 


НЕ HighLoad= 


Весна2021 


Чтение партиции 


Атау[РайМоп] |-: 


Partition | 


y 


Кеа 


Негајо У Ном] 


35 


НЕ HighLoad= 


Весна2021 


Чтение партиции из УТ 


е АРІ отдаёт строки таблицы в своем формате YtRow 
г Нужно преобразовывать строки в спарковый Row 


В этот момент нужно сделать преобразование значений под 
спарковую систему типов 


4 Њен оган 
(ні) а 


Аггау[Рагійіоп] |:: 


Partition | 


НегатоЦ Ноу 


у Сеп! 


Негао/ Ноу 
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4 HighLoad+ 
HL эе 


Простое решение: записБ 


4 Њен оган 
(ні) таа ри 


YT АРІ 


YtClient 
createTable --- Убспета 


умгіїеТаріе ---|  Йегао| Ноу 


Spark SPI 


StructType 


Е 


кы, 


- Нен! оаа 
(н) нен ова 


Spark SPI 


YtRelation 


StructType Iterator[Row] 


ЗРУТ 


| Spark \ 
YtRelation YtClient 


- «> 
бігисіТуре 


writeTable Iterator[YtRow] 


Iterator[Row] 


о (умет 


Подготовка записи 


Ү 


ио 
ЗігисіТуре Iterator[Row] 


YtClient 


create Table 


writeTable 


Iterator[YtRow] 


d 


4 НН! саа 
(а ике» 


ЗаписБ партиции 


Ү 


бігисіТуре Негато Ном) 


У Сеп! 


сгеаїеТаріе 


writeTable 


Iterator[YtRow] 


d 


- Нен! оаа 
(н) нен ова 


Подготовка таблицы 


Рһаве 1 


Опмег 
Ехесшог 1 Ехесшог 2 


Мо Раја Мета | 


А Њен оган 
то (ні) Дт 


ЗаписБ партиции 


Рһаве 1 КИР" Рћазе 2 


Опмег 


я 


Опмег 


РА Ба ѕепа рагії їаѕк send part2 task 
write write 
partition partition 


No Data Meta 


Part1 | Part2 | Meta 


з (туша 


Как это выполняется 


Рһаве 1 


Опмег 
Ехесшог 1 


Мо Data Мета 


Рпазе 2 


Опмег 


send part2 task 


send part1 task 


Executor 1 Executor 2 


write write 
partition partition 


- Нен! оаа 
(но мен са 


Как это выглядит в коде 


КЩ 


бігисіТуре Негато Ном) 


У Сеп! 


сгеаїеТаріе 


writeTable 


Iterator[YtRow] 


и 


- Нен! оаа 
(н) нені сесі 


Особенности записи 


г Обратное преобразование схемы 
е Обратное преобразование строчек таблицы 


е Метод writeRows будет вызываться параллельно с разных 
экзекьюторов 


ТА Нен оаа 
(ні) таа ри зі 


Итог простого решениа 


• Чтение: 
е Запрос схемы с драйвера 
e Разделение на партиции на драйвере 
• Чтение партиции на зкзекьюторе 


е Запись: 
- Создание таблицы на драйвере 
е Запись партиций с экзекьюторов параллельно 


Подробное выступление Jacek Laskowski: https://www.youtube.com/watch?v=vfd83ELIMfc 


ТА HighLoad 
(ні) таа ри зі 


Что не так с простым подходом? 


4 Њен оган 
(ні) таа ри 


Что не так с простым подходом 


• Нет чтения батчами 


4 Њен оган 
(ні) таа ри 


Таблица в УТ 


Оѕег |еуе! 


"otter" 


false 


350 


Attributes: 


schema 

a - String 

b - Boolean 
c - Integer 


rowCount 


Storage level 


Columnar chunk 1 


rows 0 - 200 
Соитпаг chunk 2 


гом/5 201 - 400 


Соштпаг сћипк 3 


rows 401 - 600 


Attributes: 


schema 

a - String 
b - Boolean 
c - Integer 


rowCount 


ТА HighLoad 
(н) .. Е 


Батчи в УГ 


Storage level 


Columnar chunk 1 шшш Attributes: 


200 rows 
a - ["alpaca", "cat"] schema 


a - String 
Columnar chunk 2 Chunk meta b - Boolean 


c - Integer 


rows 0 - 200 


200 rows 
a - ["dog","mongoose"] 
Chunk meta 


rows 201 - 400 
rowCount 
Columnar chunk 3 


200 rows 


ри ро а - ["ойег","герга"! 


Т Њен оган 
54 (ні) ка 


Батчи в Spark 


4 Њен оган 
ЕКСЕ 


Построчный count 


Count Бу гом 


топдоозе 
рагго! 


я Г\ НеЕН оган 
зв | (ана 


Построчный count 


Count Бу гом 


По 


| Г\ НеН оган 
ЖИС 


Построчный count 


Count Бу гом 


б 


да) _______-____-<. ._. ___ _____-_ О Ы ОИС ЕГЕДА 


А Њен оган 
ЕКСЕ 


Построчный count 


Count Бу гом 


б 


„СР а Р У ЛИ ІНШІ ае 


9 - HighLoad+ 
59 (ні) ды ет 


Побатчевый count 


„Count by раст | 


Count Бу гом 


Ф 
Ф 
О 
© 
© 
© 
Е 


ТА HighLoad 


60 


Побатчевый count 


Count Бу гом 


„„Соџпі бу batch 


ош =ош = - = - - - --- чш эш чш эш сш эш эш эш эшо е чш чш чш чш чш чш ш ш ш ы 


Ф 
Ф 
О 
© 
© 
© 
= 


4 Њен оган 


61 


Побатчевый count 


Count Бу гом 


„„Соџпі бу batch 


------------- - - - - - - - - – = чч ч ч ч ш ш ш ш е 


Ф 
Ф 
О 
© 
© 
© 
Е 


4 Њен оган 


62 


Побатчевый count 


Count Бу гом 


„„Соџпі бу batch 


–----------—--------------------- 


Ф 
Ф 
О 
© 
© 
© 
Е 


4 Њен оган 


63 


Почему плохо читать построчно 


• Не даём спарку использовать метаданные батчей 


е Тратим СРО на перекладку из поколоночного формата в 
построчный 


4 Њен оган 
(ні) а р 


Что не так с простым подходом 


• Нет чтения батчами 


• Нельзя прочитать директорию целиком 


ТА Нен оаа 
(ні) таа ри зі 


УТ - файловая система 


НОЕЗ 


/ 
|---> ГУ tmp 
|---> № file.txt 
|---> ГУ example 
|---> [7 ааїаѕеї 1 
|-----> ЩІ рагі-0.рагацеї 
|-----> ЩІ рагі-1.рагацеї 
|-----> ЩІ рагі-2.рагацеї 
|---> ГУ даїаѕеї 2 
|-----> ЩІ рагі-0.рагацеї 
----- > Ш рап-1.рагаче! 


УТ 


/ 
|---> ГУ tmp 

|---> № file.txt 

|---> ГУ ехатр!е 
|----> ЩІ ехатріе їаЫе 1 
|----> ЩІ ехатріе їаЫе 2 


я Г\ НеЕН оган 
в (но) Нено 


Чтение директории из НОР 


HDFS 


/ 
|---> ГУ tmp 
|---> ЩІ file.txt 
|---> ГУ ехатріе 
|---> [7 даазе 1 
> Ш рап-0.рагаче! 
> Ш рап-1.рагаче! 


> Ш рап-2.рагаче! 
|---> ГУ датазе! 2 

> Ш рап-0.рагаче! 

> М рап-1.рагаче! 


/ 
|---> ГУ tmp 
|---> ЩІ file.txt 
|---> ГУ ехатріе 
|----> ЩІ ехатріе їаЫе 1 


|----> № ехатріе ае 2 


4 Њен оган 


Чтение директории из УТ 


HDFS 


/ 
|---> ГУ tmp 
|---> ЩІ file.txt 
|---> ГУ ехатріе 
|---> [7 даазе 1 
> Ш рагі-0.рагдиеї 
> Ш рап-1.рагаче! 


> Ш рагі-2.рагдиеї 
|---> ГУ датазе! 2 

> Ш рагі-0.рагдиеї 

> Ш рап-1.рагаче! 


/ 
|---> ГУ tmp 
|---> ЩІ file.txt 
|---> ГУ ехатріе 
|----> ЩІ ехатр!е таме 1 
|----> № ехатріе ае 2 


А Њен оган 
ө (HL) Небо; 


Ра поп discovery 


НОЕЗ 


/ 
|---> [7 tmp 
|---> ЩІ file.txt 
|---> [7 ехатріе 
|---> [7 уеаг=2020 
> Ш рап-0.рагаче! 
> Ш рап!-1.рагаче! 


> Ш рагі-2.рагацеї 
|---> [7 уеаг=2021 

> Ш рагї-0.рагдиеї 

> Ш рап!-1.рагаче! 


а уеаг 
эшш = 
dog | 2020 

| ое | | 2021 
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- HighLoad+ 
HL ды ет 


Ра поп discovery 


НОЕЗ 


/ 
|---> ГУ тр 
|---> Ш file.txt 
|---> [7 example 
|---> [7 уеаг=2020 


|-----> № рап-0.рагаџе! 

|-----> № рап-1.рагаче! 

|-----> № рап-2.рагдие! 
|---> [7 уеаг=2021 

|-----> № рап-0.рагдие! 


және > Ш рап-1.рагдче! 


=== ж 

там клен сю 
dog | | 2020 
otter | | 2021 


/ 
|---> [7 tmp 

|---> ЩІ file.txt 

|---> [7 example 
|----> № уеаг=2020 
|----> № уеаг=2021 


70 


НО) HighLoad= 


Весна 2021 


Чего мы хотим от нового подхода 


г Научиться читать поколоночными батчами 


e Переиспользовать код, написанный для НОР и Parquet: 
e Partition discovery 
e Обход директории на чтении 
е Создание / удаление временных файлов на записи 


4 Њен оган 
(ні) таа ри 


Новое решение 


4 Њен оган 
(ні) таа ри 


Как Spark читает Parquet с НОР 


Разделение DataSource на две части 


е Данные лежат в файловой системе (например, НОЕ5) 


е Данные сохранены в каком-то формате (например, Parquet) 


ТА Нен оаа 
(ні) таа ри зі 


FileSystem 


FileSystem 


| 


де Ри! езта из 


Статус фаила 


FileSystem 
getFileStatus(/tmp/file.txt) 


Spark SPI 


FileStatus ( 
is_dir=false, 
size=256 ) 


/ 
|---> ГУ tmp 
|---> Щ file.txt 
|---> [7 example 
|---> ГУ даазе 1 
> Ш рап-0.рагаче! 
> Ш рап-1.рагаче! 
> Ш рап-2.рагаџе! 
|---> ГУ даћазе! 2 
> Ш рап-0.рагаџе! 
> Ш рап-1.рагаче! 


4 Нен! оаа 
(н) не ос 


Статус директории 


FileSystem 
getFileStatus(/tmp/example) 


Spark SPI 


FileStatus ( 
is_dir=true) 


/ 
|---> ГУ tmp 
|---> ЩІ file.txt 
|---> Ø example 
|---> ГУ dataset_1 
> Ш рап-0.рагаче! 
> Ш рап-1.рагаче! 
> Ш рап-2.рагаџе! 
|---> ГУ даћазе! 2 
> Ш рап-0.рагаџе! 
> Ш рап-1.рагаџе! 


ТА Нівні оаа 
(ні) иа Е 


Фаил не сушествует 


FileSystem 
getFileStatus(/not_exist) 


FileNotFound 
Exception 


Spark SPI 


/ 
|---> tmp 
|---> № file.txt 
|---> [7 example 
|---> ГУ даазе 1 
> Ш рап-0.рагаче! 
> Ш рап-1.рагаче! 
> Ш рап-2.рагаџе! 
|---> ГУ даћазе! 2 
> Ш рап-0.рагаџе! 
> Ш рап-1.рагаџе! 


ТА Нівні оаа 
(ні) иа Е 


Листинг директории 


FileSystem 
getFileStatus 
listStatus(/tmp/example) 


Spark SPI 


Array[FileStatus] 


/ 
|---> tmp 
|---> № file.txt 
|---> ГА example 
|---> Ø дайазе! 1 
> Ш рап-0.рагаче! 
> Ш рап-1.рагаче! 
> Ш рап-2.рагаџе! 
|---> 2 дајазе! 2 
> Ш рап-0.рагаџе! 
> Ш рап-1.рагаџе! 


ТА Нівні оаа 
(ні) Кики Е 


FileSystem 


FileSystem 


| 


де Ри! езта из 


FileFormat 


Iterator[Row] 


81 


- Нен! оаа 
(н) нен ова 


FileFormat 


FileFormat | ..- 


buildReader FileReader 


Iterator[Row] 


а (уво 


Чтение с НОЕ5 


FileSystem 


getFileStatus 


FileFormat 


buildReader FileReader 


Iterator[Row] 


Й, № 
|---> [7 tmp 


|---> В file.txt 


|---> [7 ехатр!е 
|---> С ааіаѕеї 1 
----- 8 рап-0.рагаџе! 


|-----> № рап-1.рагаче! 

|-----> № рап-2.рагаче! 
|---> [7 даїаѕеї 2 

|-----> № рап-0.рагаче! 

|-----> № рам-1.рагаџе! 


м 
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НО) HighLoad= 


Весна2021 


Листинг директории 


FileSystem 


FileFormat 


Iterator[Row] 


Й, № 
|---> [7 tmp 


|---> | file.txt 
|---> [7 ехатріе 
|---> [7 даазе 1 
|----- рагі-0.рагдие 
|----- Ш рагі-1.рагдце 
|----- ІШ рагі-2.рагдце 


|---> [7 даїаѕеї 2 
|-----> № рам-0.рагаџе! 
|-----> № рап-1.рагаче! 


М 


84 


HL\ HighLoad= 


Весна 2021 


Чтение схемы 


FileSystem 


FileFormat 


Iterator[Row] 


Й, № 
|---> [7 tmp 


|---> | file.txt 
|---> [7 example 
|---> [7 даїаѕеї_ 
|----- рап-0.рагаџе! 
|----- № рагі-1.рагдиеї 
|----- Ш рагі-2.рагацеї 


|---> [7 даїаѕеї 2 
|-----> № рам-0.рагаџе! 
|-----> № рап-1.рагаче! 


М 
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- HighLoad+ 
HL а 


Чтение партиции 


FileSystem 


FileFormat 


Iterator[Row] 


Й, № 
|---> [7 tmp 


|---> № file.txt 
|---> [7 ехатріе 
|---> [7 даїа5еї 1 4 
|----- > рап-0.рагдие! 


|----- > T part-1.parquet 


|---- № рагі-2.рагаиеї 


|---> [7 даїаѕеї 2 
1-----> № рап-0.рагдче! 
1-----> № рагі-1.рагацеї 


М 


86 


НЕ HighLoad= 


Весна2021 


Сравнение с простым подходом 


FileFormat 


FileSystem 


getFileStatus 


OLD 
YtRelation 
[2 | —. ШИ 
getPartitions Ад. compute ) 
Array[Partition] --4 Partition Iterator[Row] | 
87 


HL\ HighLoad= 


Весна 2021 


Фаил = партиция 


бігисіТуре 


Аггау|Раптоп| 


Partition 


(== вене = == 
«Жели гур 


Partition 


Å- 


/ 
|---> ГУ tmp 
|---> № file.txt 
|---> ГУ ехатріе 
|---> [7 даазе! 1 
> Ш рагі-0.рагаиеї 


> Ш рап-1.рагаџе! 


г 


> Ш рагі-2.рагдиеї 


|---> [7 даазе{ 2 
> Ш рап-0.рагаче! 
> Ш рап-1.рагдие! 


НІ) HighLoad= 


Весна2021 


Как это выполняется 


Executor 1 


Рап! Part2 Meta | 


Driver 
~ 
~ 
~ 
~ 
Ехесщог 2 


Рћазе 3 


Driver 


send part2 task 


send part1 task 


read read 


partition partition 


| Рап | Part2 | Meta | 


89 HL HighLoad+ 


Как 5РУТ читает таблицы с УТ 


ТА Нен оаа 
(ні) тр зі 


YtFileSystem 


FileSystem 


getFileStatus 


Spark SPI 


FileStatus(is_dir=true) 


/ 
|---> ГУ tmp 
|---> № file.txt 
|---> Ø example 
|----> № table_1 
|----> Щ 1аЫе_2 


- Нен! оаа 
(но нем ос 


Листинг директории 


Ѕрагк ӘРІ 


FileSystem 


getFileStatus 


Array[FileStatus] 


/ 
|---> ГУ tmp 
|---> № file.txt 
|---> Ø example 
|----> Щ table_1 
|----> № 1аЫе_2 


92 


ТА Нен оаа 
(ні) иа Е 


Таблица = директория 


Spark ы 
/ 


|---> ГУ tmp 
|---> № file.txt 
|---> [7 example 
|----> № їаЫе 1 
|----> № ќаБе 2 


FileSystem 


getFileStatus FileStatus(is_dir=true) 


Псевдолистинг таблицы 


FileSystem 


getFileStatus 


Spark э 


Array[FileStatus] 


/ 
|---> ГУ tmp 
|---> № file.txt 
|---> [7 ехатріе 
|----> Щ таме 1 
|--> 10, 200] 
|--> [201, 400] 
|--> [401, 600] 


|----> № 1аЫе_2 


94 


ТА Нен оаа 
(ні) Дт Е 


Разбиваем таблицу на партиции 


\ 
Ніебувіет 


7% 


/ 
|---> [7 tmp 
|---> № file.txt 
|---> [7 example 
|----> № ќаБе 1 


1--> 10, 2001 
|--> 1201, 400] 
|--> 1401, 600] 


|----> № 1аЫе_2 


FileFormat 


buildReader FileReader 


> 


Читаем схему 


/ 


~ 


|---> ГУ tmp 
Ейебузіет |---> № file.txt 
|---> [7 example 


getFileStatus 


|----> № table_2 


|--> [0, 200] 
|--> [201, 400] 
Array[File] f не | |--> [401, 600] 


FileFormat 


"T 


C InterSohema | StructType 


buildReader FileReader 


Iterator[Row] 


96 HL) М сал+ 


Читаем отдельные партиции 


FileSystem 


am 


getFileStatus 


FileFormat 


> Кегаю [Во\м/ 


/ 
/ 


ѓе 


|---> 2 тр 
|---> ЩІ file.txt 
|---> [7 example 
|----> № ќаБе 1 


|--> [0,200] | 


|--> |201, 400] | 


|-> [401, 600] | 


|----> № їабіе 2 


ТА HighLoad 
(ні) Дт Е 


Построчное чтение 


FileFormat 


buildReader FileReader 2 
Iterator[Row] 


Чтение батчами 


ЕйеЕогта! 


бийаВеааег ҒіеВеадег 
зиррогіВаїсп 


Iterator[ColumnarBatch] 


СоитпагВатсй 


СоџтпагВајсћ 


Как Spark пишет Parquet в НОР 


Запись в Parquet на НОР 


/ 
|---> ГУ tmp 
|---> ГУ example 


авмгіїе.рагдцеї("Ятр/ехатрів/ааїазеї 1") 


Создаем временную директорию 


Рпазе 1 


/ 
|-> [7 ітр 
|---> [7 ехатріе 
|---> [7 даазе! 1 
|--> Ø _4етрогагу 


Т Њен оган 
(ні) тр 


Пишем файлы во временную директорию 


Рһаве 1 Рһаве 2 


В 4 


|-> [7 тр |-> [7 tmp 
|---> [7 ехатріе |---> [7 ехатріе 
|---> ГУ даазе! 1 |---> ГУ даїаѕеї 1 
|--> Ø _4етрогагу |--> [7 _4етрогагу 
|---> рап-0.рагдие! 
|---> рагі-1.рагацеї 


|---> рагі-2.рагдиеї 


Перемещаем файлы 


Рназе 4 


/ 
|-> [7 tmp 
|---> [7 ехатріе 
|---> ГО даазе! 1 
|--> Ø іетрогагу 


~ 


/ 


| Рназе 2 


|-> [7 tmp 


|---> [7 ехатрје 
|---> [7 даазе! 1 
|--> [7 іетрогагу 
|---> рап-0.рагдие! 
|---> рай-1.рагаиеї 
|---> рап-2.рагдче! 


~ 


Рһаѕе 3 


/ 
|-> [7 тр 
|---> [7 example 
|--->  дагазе! 1 
|--> рап-0.рагдие! 
|--> рай-1.рагаиеї 
|--> рап-2.рагдие! 


| 


4147. 
гагу 


105 


ЧЕ ЕЕС 
ні) непо; 


Создаем временную директорию 


Рпазе 1 


Опмег 
Executor 1 Executor 2 


create 1етргогагу 


./ааїаѕеї 1/ 4етрогагу 


Пишем файлы во временную директорию 


Рпазе 1 


Опмег 
Ехесшог 1 Ехесиїог 2 


create 1етргогагу 


| „Јдајазе! 1/ їіетрогагу | 


Опмег 


зепа рап! task 


send part2 task 


../_temporary 
/part-0.parquet 


../_temporary 
/part-1.parquet 


ТА HighLoad 
(ні) Дт Е 


Перемешаем файлы 


Driver 
Executor 1 Executor 2 


create temprorary 


Driver 


Driver 


send part1 task send part2 task 


Executor 1 Executor 2 


move temprorary 


| „| 4етрогагу ../ Летрогагу 


„Јдајазе! 1/ 4етрогагу | | .Г/ааїаѕеї 1/рапі-".рагдцеї | 


/рап-О.рагдиеї | /рап-1.рагаџе! 


108 HL) М сал+ 


FileFormat 


/ 


|-> [7 tmp 
|---> [7 example 
|---> ГО даїаѕеї 1 
|--> ПР іетрогагу 


ч 
Г! № 


|-> [7 фтр 
|---> [7 ехатріе 
|---> ГУ даїаѕеї 1 
ргерагеМУгіїе Ошри\/щег |--> [7 _4етрогагу 
|---> рагі-0.рагайцеї 
|---> рагі-1.рагдиеї 
|---> part-2.parquet 


FileFormat 


/ 

дА [7 tmp 
|---> [7 example 
|---> Ø дагазе! 1 

|--> рагі-0.рагацеї 

|--> рагі-1.рагдиеі 

|--> рагі-2.рагацеї 

|--> Ø -temporary 


зи НН! оаа++ 
НІ. ки 


FileCommitProtocol 


/ 
|-> [7 tmp 
|---> [7 ехатріе 
|---> ГО даїаѕеї 1 


|--> ПР іетрогагу 


FileCommitProtocol 


и! 
|-> [7 tmp 
|---> [7 ехатріе 
|---> ГУ даазе! 1 

setupJob |--> ГЇ _4етрогагу 

|---> рагі-0.рагацеї 
|---> рагі-1.рагдцеї 
|---> рагі-2.рагацеї 


/ 
|-> Г tmp 
|---> [7 ехатріе 
|---> Ø даїаѕеї 1 


|--> рагі-0.рагацеї 
|--> рагі-1.рагдиеі 
|--> рагі-2.рагацеї 


|--> Ø -temporary 


НЕ HighLoad= 


Весна 2021 


Эмулируем транзакции в НОР 


етин 


~ 


- Нен! оаа 
(н) нен ова 


Как 5РҮТ пишет таблицы в УТ 


ТА Нен оаа 
(ні) таа ри зі 


В УТ уже есть транзакции! 


сгеаіеТгапѕасіоп 


7 ретина А С. 
| setupJob | 


а» | 


аройТгапѕасііоп 
соттіТгапѕасііоп 


Запись партиций в УТ 


ргерагеУУгіїе Ошри Мег 


writeTable 


Итоги продвинутого подхода 


ш Научиться читать поколоночными батчами 


е Переиспользовать код, написанный для НОҒ5 и Parquet: 
e Partition discovery 
e Обход директории на чтении 
е Создание / удаление временных файлов на записи 


ТА HighLoad 
(ні) таа ри зі 


Дополнительные фичи 


ТА Нен оаа 
(ні) таа ри зі 


FileSystem 


Spark SPI 


/ 
|---> tmp 
|---> ЩІ file.txt 
|---> ГО example 
|----> № їабіе 1 
|----> № таме 2 


FileSystem 


getFileStatus 


listStatus(/tmp/example) 


шо (умот 


Создание фаилов в УТ 


Spark SPI / 


FileSystem |---> ГУ тр 
|---> ЩІ file.txt 
|---> ГУ ехатріе 


getFileStatus |----> № арр_1.109 


сгеа!е(Атр/ехатр!е/арр. 1.104) 


118 (ні) НЕН ад 


Чтение фаилов из УТ 


Spark ӘРІ 


/ 
|---> ГУ tmp 
|---> |] file.txt 
|---> [7 example 
|----> |Ң ту іоб.іаг 


| 


ЕііеЅуѕіет 


getFileStatus 


open(/tmp/example/my_job.jar) 


Для чего это? 


е Заработало скачивание файлов из УТ в ѕрагк-ѕиртії 


е Есть возможность сохранять емепі |ог в УТ и читать его в 
ЅрагКкНіѕїогуЅегуег 


ТА Нівні оаа 
(ні) таа ри зі 


Грабли и костыли 


ТА Нен оаа 
(ні) таа ри зі 


Листинг таблицы при чтении 


~ 


/ 
|---> [7 tmp 
-> È file.txt 
|---> [7 example 
|----> № table_1 


1--> 10, 2001 
|--> 1201, 400) 
|--> 1401, 600] 


|----> № 1аЫе_2 


FileFormat 


buildReader FileReader 


> 


Листинг таблицы делает драйвер 


Рһаве 2 Ка Рһаве З 


“ 


send part1 task send part2 task 


read read 


“7 ` 
и ~ 
ај ~ 
2 ~ 
Ехесщог 1 Ехесшог 2 


рап оп partition 


ра! | Part2 Meta | | Рап! | Part2 | Meta | 


123 HL) НЕНІ саде 


Читаем Лтр/ехатрје целиком 


Рпазе 1 


ҮТ 


/ 
|--> 7 tmp 


|--> [7 ехатріе 
|---> № ќаБе 1 


|--- їаЫе 2 
15 Базе dir още 


Читаем Лтр/ехатрје целиком 


/ УТ 


|--> [7 tmp 


|--> [7 ехатріе 
|---> № таме 1 


|---> |201, 400] 
|---> 1401, 600] 


|---> ЩІ 1абје 2 


13 Базе аїг | | Is sub dir 1 


++ 
оз (туба 


Однопоточный листинг партиции 


Рпазе 1 S и Рһаве 2 БЕ Рһаве 3 ` ја 


Driver 


/ 
|--> ГУ tmp 


|--> [7 ехатре 
|---> № таме 1 


--> (10, 2001 
-> [201, 400) 
- [401, 600] 


Опмег 5 Опмег 


|-- ~ іабіе 2 | 


Is базе dir | | 5 sub dir 1 | | Is sub dir 2 


Читаем Лтр/ехатрје целиком 


Рһаве 1 Р ҮТ 


|--> ГУ tmp 


|-->  ехатр!е 
|---> № ќаБе 1 


Is Базе dir 


--> № іабіе 2 | 


Параллельный листинг на экзекьюторах 


Рпазе 1 


Driver 


Is base dir 


Phase 2 


Driver 


sub dir 1 task sub dir 2 task 
~ 


15 ѕир аїг 1 


Is sub ди 2 


A YT 


|--> [7 tmp 


|-->  ехатр!е 
|---> № їабіе 1 


|---> ([0, 200] 
|---> [201, 400) 
|---> 1401, 600] 


Parallel partition discovery 


Phase 1 


Driver 


Is base dir 


Phase 2 


Driver 


sub dir 1 task sub dir 2 task 
~ 


Is sub ди 2 


Is sub dir 1 


Driver 


get sub dir 2 res 


~ 


де! sub ди 1 гез 


/ УТ 


|--> [7 tmp 


|--> [7 ехатріе 
|---> № таме 1 


|---> (10, 200] 
|---> |201, 400] 
|---> [401, 600] 


|---> № їабіе 2 


|---> | 10, 100] 
|---> |101, 200] 


о (унион 


Реализация FileSystem 


FileSystem 


Array[YtFileStatus] 


Что с зтим не так? 


listStatus вызывается на зкзекьюторе 


А Њен оган 
(ні) таа ри 


Что с зтим не так? 


listStatus вызывается на зкзекьюторе 


У 


На экзекьюторе получаем Array[YtFileStatus] 


А Њен оган 
(ні) таа ри 


Что с зтим не так? 


listStatus вызывается на зкзекьюторе 


У 


На экзекьюторе получаем Array[YtFileStatus] 


У 


Сериализуем и отправляем на драйвер 


4 Њен оган 
(ні) таа ри 


Что с зтим не так? 


listStatus вызывается на экзекьюторе 


У 


На экзекьюторе получаем Array[YtFileStatus] 


У 


Сериализуем и отправляем на драйвер 


У 


Десериализуем на драивере 


4 Њен оган 
(ні) таа ри 


Что с зтим не так? 


1515 Та из вызывается на зкзекьюторе 


У 


На экзекьюторе получаем Аггау[У Ри езтаТи5 


У 


Сериализуем и отправляем на драйвер 


У 


Десериализуем на драивере 


Чу 
Array[FileStatus] 


А Њен оган 
(ні) таа ри 


Что делать? 


• Учитывать, что методы для листинга директории могут 
вызыватыся на зкзекьюторах 


e Не пытаться обмануть ӘРІ и использовать FileStatus 


ТА Нен оаа 
(ні) таа ри зі 


FileSystem - синглтон? 


риріїс взкабіс Е11ебузеем сет (ОКТ игі, 


Сб ориз лот «СУП | 


ке кп САСНЕ.дес(ит1, соп); 


ТА HighLoad 
(ні) таа ри зі 


Использую синглтон в init / close 


class YtFileSystem extends Е1 1 ебузтеш | 


Override def 1п1 ла! 172е (...): Unt = | 
initYtClient() 

override def close(): Unit = { 
closeYtClient () 


А Њен оган 
(ні) таа ри 


Как устроен кэш FileSystem 


private Е1 1 езузгеш getInternal ( Key key, .) | 


synchronized (rars) | 
fs = map.get (key); 
) 


їс (ге ls null) rerurm тә; 


во = скесвевл е- узеле Coni), 


гегетсп the lock again 


З 


synchronized (this) | 
Filesystem со тес = тар.дес (key 


) 
L£ (Oleks != mull) 4 / во created while lock 15 releasing 
/ 


close the new file system 


Ге стозе(): 
терпп the old file system 


return olats: 


в чо зо з . 


) 


return fs; 


ТА HighLoad 
(ні) гаан 2021 зі 


Пытаемся взять FS из кэша 


private Е1 1 езузгеш десіпбсегпаі ( Key key, ...) | 


synchronized (Поа а ја 
Ев = пар.дет (Кеу); 
) 


ДЕ (fS Ге NUl return fs: 


tos = Cret ekilesy Есет (иеа, сопг); 


refetch the lock again 


З 


Synchronized (thi) | 
Filesystem со тес = тар.дес (key 


) 
L£ (Oleks != mull) 4 / во created while lock 15 releasing 
/ 


close the new file system 


Ге стозе(): 
терпп the old file system 


return olats: 


в чо зо з . 


) 


return fs; 


++ 


Создаём новый инстанс Е5 


private Е1 1 езузгеш getInternal ( Key key, .) | 


synchronized (rars) | 
fs = map.get (key); 
) 


ШІ (ге = null) ето, га. 


Ез = createFileSystem(uri, conf); 


гегетсп the lock again 


З 


synchronized леу 
Filesystem со тес = тар.дес (key 


) 
L£ (Oleks != mull) 4 / во created while lock 15 releasing 
/ 


close the new file system 


Ге стозе(): 
терпп the old file system 


return olats: 


в чо зо з . 


) 


return fs; 


да Г\ Нет оган 
141 (ні) а 


Другой поток создал инстанс раньше 


private Е1 1 езузгеш getInternal ( Key key, ...) | 


synchronized (rars) | 
fs = map.get (key); 
) 


їс (ге ls null) rerurm тә; 


Бо = скесвевт е- узеле Coni), 


гегетсп the lock again 


ке 


ЕМО еа (Ее) | 
FileSystem oldfs = тар.дес (key 


) 
LE (Olcks |= mull) 4 / FS created while lock is releasing 
/ 


close the new file system 


Ее. с1ове(): 
геїџгп ће old file зѕуѕіет 


return olats: 


р чо з ы? е 


) 


return fs; 


ТА HighLoad 
(ні) гаан 2021 зі 


Закрываем свой инстанс 


private Е1 1 езузгеш getInternal ( Key key, .) | 


synchronized (rars) | 
fs = map.get (key); 
) 


їс (ге ls null) rerurm тә; 


во = скесвевл е- узеле Coni), 


гегетсп the lock again 


З 


Synchronized (thi) | 
Filesystem соте = тар.дес (Кеу 


) 
L£ Мел ев != mull) 4 во created while lock 1s releasing 
2 


close the new file system 


fs.Close(); 
return the old file system 


везе olis: 


= . 


) 


return fs; 


ЖЕ! Е НН! сас 
143 (н) а 


Что делать? 


е Запомнить, что ЕеЅуѕїет может быть создан не один, а лишний 
сразу будет закрыт 


e Не использовать настоящие синглтоны в коде Ее5узјет 


ТА Нен оаа 
(ні) таа ри зі 


Кастомные параметры в 5рагк 


е Большую часть параметров подключения можно прокидывать 
через конфиг спарка: 
--сопі взрахгк.ту.рагат-уаїце 


е Их удобно доставать из ЅрагкСопї, можно определять дефолтные 
значения в зрагк-дегац 1 5. сопЕ 


г Но они видны в логах и на вкладке Environment в Spark UI 


ТА Нен оаа 
(ні) таа ри зі 


Как скрыть отображение секретных 
параметров? 


e В Spark есть специальный конфиг 


згракк. кедас топ .гедех 


е Все параметры, названия которых соответствуют регулярке, будут 
скрыты звездочками 


ТА Нен оаа 
(ні) таа ри зі 


Как скрыть отображение секретных 
параметров? 


e В Spark есть специальный конфиг 


згракк. кедас топ .гедех 


е Все параметры, названия которых соответствуют регулярке, будут 
скрыты звездочками 


• Или нет? 


ТА HighLoad 
(ні) таа ри зі 


Что а сделала 


• Прокинула параметр 


гракк.у . сокеп=іоКкеп 


• Сказала спарку, что он секретный 


зрагК. кедас 1лоп. гедех- (?1) зескет | раззмога | Сокеп 


ТА HighLoad 
(ні) таа ри зі 


Что получилось 


Параметр скрыт в 5рагки! 


ТА Нен оаа 
(ні) таа ри зі 


Но в логах драивера... 


Запуск в Spark Standalone логирует строку запуска драйвера 
полностью 


ае а Conca а =“ 


"-"”Ррзрагк.уі.іокеп=іоКкеп" ... 


ога .арасће . ѕзрагк.дер1оу.могкег.ргіуегиИгаррег ... 


4 Њен оган 
(ні) таа ри а 


Что получилось 


Параметр скрыт в 5рагки! 
Ж Параметр виден в логах драйвера 


ТА Нен оаа 
(ні) таа ри зі 


Что делатБ? 


• В 5рагк 3.0 это починили 


ҺачлпсҺһ Соптапа: "јама" "-ср" 


"-”Рзрагк. уі. сокеп=******х%*%* (redacted) ... 


ога .арасћһе . љракк.дер]оу .мокКкек. Оклмекукаррек ... 


ТА Нівні оаа 
(ні) таа ри зі 


Что получилось 


Параметр скрыт в 5рагки! 
Параметр скрыт в логах драйвера 


4 Њен оган 
(ні) таа ри 


Но в списке процессов... 


e На хосте, где запущен 5$рагК-зиб тк, видны все его аргументы 
> ро аих | ағер зрагк 


Spark- Submit ОПЕЕ АУЕ ке = ке 


ТА Нен оаа 
(ні) таа ри зі 


Может, обойти 5рагК-зи 6 ти? 


е Всё равно придём к запуску класса ЅрагкѕЅиртії 
Бе ШШ | шаср вок 


паша (ој осо юное, бок. Ере ЗОО 


== ре гк о 


ТА Нен оаа 
(ні) таа ри зі 


Что получилось 


Параметр скрыт в 5рагки! 
Параметр скрыт в логах драйвера 
X Параметр виден в ps на хосте запуска ѕрагк-ѕиртії 


ТА Нен оаа 
(ні) таа ри зі 


Что делать? 


e Костыль в SparkSubmit.scala 
ои о еее (ера УГ ЕЕ о обла вої | 


token => 


сратксопЕ.оек("оратк.уск.СБокеп", token) 


4 Њен оган 
(ні) таа ри 


Что получилось 


Параметр скрыт в 5рагки! 
Параметр скрыт в логах драйвера 


Параметр скрыт в ps на хосте запуска ѕрагк-ѕиртії 


ТА Нен оаа 
(ні) таа ри зі 


Но в списке процессов в Ру5рагк... 


e Пользователь РубрагК в Јируїег заметил в своём списке процессов 
какую-то джаву с токеном в открытом виде 


> ро aux | grep spark 
ОЛЕ АО 


Па Со 7 още ааа СО есер раат о ооа 


--сопі зракк.у . Еокеп=океп ... 


ТА Нівні оаа 
(ні) таа ри зі 


Прокидывание секретов 


Параметр скрыт в 5рагки! 

Параметр скрыт в логах драйвера 

Параметр скрыт в ps на хосте запуска ѕрагк-ѕиртії 
Х Параметр виден в ps при запуске Ру5рагк 


ТА Нен оаа 
(ні) таа ри зі 


Что произошло? 


В коде для питона я прокидывала параметр при старте сессии 


// ехатріе.ру 
spark = брагкзезз1оп.ри:1 1 дег 


ЕОС реке вом, token) 
„сСегОгСгеате () 


ТА HighLoad 
(ні) ш 


Что произошло? 


• В коде дла питона а прокидывала параметр при старте сессии 
г Но в РубрагК вызов ге{ОгСгеа{е запускает jvm с 5рагкбибті 


// ехатріе.ру 
spark = брагкзезз1оп.ри1 1 дег 


„соп та ("ѕзрагк.уі.ёокеп", ГТоКеп) 
„сСегОгСгеате () 


ТА HighLoad 
(ні) ш 


Что делать? 


e Y нас уже есть костыль в SparkSubmit, можем им воспользоваться 


// ехатріе.ру 


OS о Ер ЕЛЕК Зет ОТО] - ое 


spark = брагкзезз1оп.ри1 1 Чег. дсетОгСгеате () 


тта 1 HighLoad= 
за (ні) ка 


Что получилось 


Параметр скрыт в 5рагки! 

Параметр скрыт в логах драйвера 

Параметр скрыт в ps на хосте запуска ѕрагк-ѕиртії 
Параметр скрыт в ps при запуске Рурагк 


ТА Нен оаа 
(ні) таа ри зі 


Но в кластере на воркере... 


• В списке процессов воркера, на котором запущен драйвер, видны 
все аргументы драйвера 


> ро aux | grep spark 


Шола ор... ОЕ ОЕ Coren token 
Ога. арасПпе.зрагк.дер|оу.погКег.ОглуегИгаррег ... 


ТА HighLoad 
(ні) таа ри зі 


Что получилось 


Параметр скрыт в 5рагки! 

Параметр скрыт в логах драйвера 

Параметр скрыт в ps на хосте запуска ѕрагк-ѕиртії 
Параметр скрыт в ps при запуске Рурагк 

Х Параметр виден в р5 на воркере в кластере 


4 Њен оган 
(ні) таа ри 


Что делать? 


е Я добавила костыли 


e В запуск драйвера в 5рагК5їапааїопе 


- В инициализацию ЅрагкСопї 


А Њен оган 
(ні) таа ри 


Что получилось 


Параметр скрыт в 5рагки! 

Параметр скрыт в логах драйвера 

Параметр скрыт в ps на хосте запуска ѕрагк-ѕиртії 
Параметр скрыт в ps при запуске Рурагк 
Параметр скрыт в р5 на воркере в кластере 


4 Њен оган 
(ні) таа ри 


Что делать? 


Не прокидывать секреты через конфиг спарка. Никогда. Даже 
если кажется, что это просто 


г Использовать специальные сервисы для хранения секретов 


ТА Нен оаа 
(ні) таа ри зі 


Итоги 


е Простое решение было сделано за 3 дна 
е Рефакторинг на более сложное занял ешё несколько недель 


е Чтение батчами ускорило запросы в 2-3 раза 


ТА Нен оаа 
(ні) таа ри зі 


В следующей серии... 


е Pushdown predicate 
• Оптимизация записи 
г Использование информации о сортированности данных 


• Гибкая интеграция с шедулером 


ТА Нен оаа 
(ні) таа ри зі 


Спасибо! Вопросы? 


ТА Нен оаа 
(ні) таа ри зі 


